Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
Tree-based machine learning algorithms provide the most precise assessment of the feasibility for a country to export a target product given its export basket. However, the high number of parameters involved prevents a straightforward interpretation of the results and, in turn, the explainability of policy indications. In this paper, we propose a procedure to statistically validate the importance of the products used in the feasibility assessment. In this way, we are able to identify which products, called explainers, significantly increase the probability to export a target product in the near future. The explainers naturally identify a low dimensional representation, the Feature Importance Product Space, that enhances the interpretability of the recommendations and provides out-of-sample forecasts of the export baskets of countries. Interestingly, we detect a positive correlation between the complexity of a product and the complexity of its explainers.
translated by 谷歌翻译
一个国家或公司与产品之间的相关性是衡量这种经济活动的可行性。因此，它是在私人和机构层面上进行投资的驱动力。传统上，相关性是使用由国家级别的产品对共发生得出的网络来衡量的，该网络计算出多少国家的出口。在这项工作中，我们比较了不仅对国家 /地区数据的网络和机器学习算法进行了比较，而且对公司的培训，由于公司级数据的可用性较低，因此对公司进行了比较。假设更多相关产品在未来出口的可能性更高，我们通过使用它们预测该国和公司级别的出口来进行定量比较不同的相关性度量。我们的结果表明，相关性是依赖于规模的：通过使用机器学习的数据类型，可以预测的数据类型来获得最佳评估。此外，我们发现，尽管基于国家数据的相关性措施不适合公司，但公司级别的数据对于国家的发展也非常有用。从这个意义上讲，建立在公司数据上的模型可以更好地评估相关性。我们还讨论了使用参数优化和社区检测算法来识别相关公司和产品的簇，发现将分区分为较高的块会减少计算时间，同时保持预测性能远高于基于网络的基准测试。
translated by 谷歌翻译